Ở mùa giải 2001-02, Terry đã là thủ quân của đội tuyển U-21 Anh. Anh mất cơ hội tham dự Giải bóng đá vô địch thế giới 2002 vì vướng scandal và lần đầu tiên khoác áo đội tuyển Anh vào tháng 6 năm 2003 khi vào sân thay người trong trận gặp Serbia và Montenegro.[121] Ngày 20 tháng 8 năm 2003, Terry lần đầu tiên có mặt trong đội hình chính thức của đội tuyển trong trận giao hữu với Croatia tại Portman Road, Ipswich.[122] Trận này đội tuyển Anh thắng 3-1.

Terry đã cùng đội tuyển Anh tham dự Giải vô địch bóng đá châu Âu 2004. Tại giải đấu này, sau khi vắng mặt trong trận đầu tiên với đội tuyển Pháp vì chấn thương chưa kịp hồi phục, Terry đã trở lại từ trận gặp Thụy Sĩ. Trong trận tứ kết với Bồ Đào Nha, anh đã thực hiện thành công lượt sút thứ 4 trong loạt đấu luân lưu nhưng sau đó đội tuyển Anh đã bị loại với kết quả sút luân lưu là 6-5.[123]

Trong trận đấu vòng loại Giải vô địch bóng đá thế giới 2006 với Ba Lan ngày 12 tháng 10 năm 2005, Terry đã lần đầu tiên được đeo chiếc băng đội trưởng đội tuyển Anh khi đội trưởng lúc đó là Michael Owen rời sân ở phút 85.[124] Terry tiếp tục có mặt trong đội hình đội tuyển Anh tham dự Giải bóng đá vô địch thế giới 2006. Trong trận giao hữu trước giải thắng Hungary 3-1 vào ngày 30 tháng 5 năm 2006, Terry đã có bàn thắng đầu tiên của mình trong màu áo đội tuyển Anh. Trong trận giao hữu sau đó với Jamaica, anh đã bị chấn thương đầu gối và buộc phải thay ra giữa chừng nhưng đã kịp trở lại trong trận mở màn Cúp Thế giới của đội tuyển Anh với Paraguay.

Trong trận đấu tiếp theo với Trinidad và Tobago, Terry đã cứu cho đội tuyển Anh một bàn thua trông thấy khi tung người cản phá cú đánh đầu vào lưới trống của Stern John.[125] Tại tứ kết, anh thi đấu trọn 90 phút trong trận gặp Bồ Đào Nha nhưng sau đó tuyển Anh đã bị loại sau loạt sút luân lưu. 6 ngày sau, anh trở thành cầu thủ Anh duy nhất có mặt trong đội hình tiêu biều của giải đấu.[11]

Sau vòng chung kết World Cup 2006, David Beckham đã từ chức đội trưởng đội tuyển Anh. Cuối tháng 7 năm đó, Terry đã "đánh tiếng" với huấn luyện viên mới Steve McClaren rằng anh muốn được đeo băng đội trưởng đội tuyển quốc gia.[126] Ngày 10 tháng 8 năm 2006, Steve McClaren đã chọn John Terry làm đội trưởng đội tuyển Anh thay thế cho David Beckham và ông nói:"Lựa chọn đội trưởng là quyết định quan trọng nhất mà một huấn luyện viên phải đưa ra. Tôi chắc chắn tôi đã chọn đúng người và đó là John Terry. Tôi tin tưởng anh sẽ trở thành một trong những đội trưởng tốt nhất mà nước Anh từng có.[127][128]" Quyết định chọn Terry đã được tất cả đội tuyển tán đồng - kể cả cựu đội trưởng Beckham và đội phó Steven Gerrard - đúng như kết quả cuộc thăm dò ý kiến công luận trước đó (Terry đạt 51% số người ủng hộ, Gerrard 46% và Gary Neville 2%).[129] Ngay trong trận đầu tiên đeo băng đội trưởng là trận giao hữu với Hy Lạp, Terry đã ghi bàn mở tỉ số.[130] Chung cuộc Anh thắng với tỉ số áp đảo 4-0.

Tuy nhiên sau đó John Terry đã có màn trình diễn nghèo nàn trong trận thua 2-0 trước Croatia tại vòng loại Giải vô địch bóng đá châu Âu 2008. Nỗi buồn thất bại trong trận đấu này vẫn đeo dai dẳng theo Terry một thời gian dài sau đó. Ngày 1 tháng 6]] năm 2007]], Terry trở thành cầu thủ đầu tiên ghi bàn trên sân Wembley mới khi đánh đầu mở tỉ số trong trận giao hữu hòa 1-1 với Brazil.[131] Tuy nhiên, đội tuyển Anh mà Terry làm đội trưởng đã không vượt qua được vòng loại Euro 2008, giải đấu đầu tiên mà đội tuyển Anh vắng mặt kể từ Giải bóng đá vô địch thế giới 1994. Trước khi đội tuyển Anh bị loại, Terry từng tuyên bố anh sẽ chịu mọi trách nhiệm nếu tuyển Anh không thể vào vòng chung kết.[132] Sau đó, Terry đã tâm sự việc tuyển Anh bị loại là một sự hổ thẹn lớn với bản thân anh và thậm chí anh không dám ra đường một thời gian dài về việc ấy.[133]

Sau khi huấn luyện viên Fabio Capello lên nắm quyền dẫn dắt đội tuyển Anh, John Terry đã được chỉ định làm đội trưởng trước trận giao hữu với Mỹ tại sân Wembley.[134] Và trong trận đấu này, anh là người đã ghi bàn mở tỉ số trong chiến thắng 2-0 của đội tuyển Anh từ quả đá phạt bên cánh phải của tiền vệ David Beckham. Capello không ngớt lời khen ngợi anh sau trận đấu: "Tôi rất hạnh phúc, tôi biết cậu ấy là một đội trưởng rất cừ. Trong bất cứ hoàn cảnh nào Terry vẫn là chính mình, cậu ấy là người rất có uy tín với các cầu thủ khác. Terry chính là một đội trưởng bẩm sinh.[135]" Tuy nhiên, trong trận giao hữu cuối cùng trước vòng loại Giải vô địch bóng đá thế giới 2010 hòa 2-2 với Cộng hòa Séc, Terry đã để tiền đạo Milan Baroš vượt qua và ghi bàn.[136] Sau đó, trong trận giao hữu với Đức ngày 19 tháng 11, Terry là người ghi bàn ấn định tỉ số 2-1 nhưng trước đó pha bóng không hiểu ý giữa anh và thủ môn Scott Carson đã dẫn đến bàn gỡ hòa 1-1 cho Đức.[137] Sai lầm này cộng với việc thi đấu không thật sự xuất sắc khiến cho Terry trở thành hậu vệ Anh bị chấm điểm thấp nhất trong trận này theo tờ Goal.[138]

Ngày 28 tháng 3 năm 2009, anh đạt đến cột mốc 50 lần khoác áo đội tuyển Anh trong trận giao hữu với Slovakia.[139] Terry đã giữ cương vị đội trưởng đội tuyển Anh trong suốt vòng loại World Cup 2010. Anh đã phải vắng mặt trong các trận đấu với Kazakhstan và Belarus vì chấn thương tái phát.[140] Tuy nhiên vì sự vắng mặt này, đã có nhiều lời chỉ trích Terry đặt quyền lợi quốc gia dưới quyền lợi câu lạc bộ và anh đã phải lên tiếng bác bỏ những lời chỉ trích này.[141] Anh ghi được một bàn thắng tại vòng loại, đó là bàn ấn định tỉ số trong chiến thắng 2-1 trước Ukraina[142] mặc dù trước trận đấu này, anh bị trinh sát viên của đội tuyển Ukraina đánh giá là "không còn phong độ cao" và thi đấu "chậm" hơn trước.[143] Trong chiến thắng 5-1 trước Croatia để chính thức giành vé đến Nam Phi, Terry và tiền đạo Ivan Klasnic đã có va chạm. Trong khi Terry tố cáo tiền đạo này đã phun nước bọt vào anh[144] thì Klasnic cũng tố ngược lại Terry đã đấm vào vùng bụng anh, nơi Klasnic từng phải mổ để ghép thận.[145]

Sau scandal tình ái với Vannesa Perroncel bị bại lộ, Terry đã bị các cổ động viên và các tuyển thủ Anh tẩy chay khi yêu cầu huấn luyện viên Capello tước băng đội trưởng đội tuyển Anh.[146] Ngày 5 tháng 2 năm 2010, sau khi huấn luyện viên Capello trao đổi trực tiếp với Terry về scandal tình ái, ông đã đưa ra quyết định tước băng đội trưởng của anh để giữ danh dự cho cả đội.[147][148] Người thay thế Terry là trung vệ của Manchester United, Rio Ferdinand.[149] Tuy nhiên, sau khi Capello ra quyết định trên, trong cuộc thăm dò dư luận của Goal.com, 2/3 độc giả tham gia vào cuộc thăm dò này lại cho rằng không ai ngoài John Terry xứng đáng để tiếp tục mang chiếc băng thủ quân của đội tuyển Anh. Sau đó, trên tờ The Sun, Capello tuyên bố John Terry sẽ không bao giờ được đeo băng đội trưởng của đội tuyển, chừng nào ông còn ngồi ghế huấn luyện viên trưởng và còn xem anh là một tấm gương xấu cho mọi người.[150]

Ngày 31 tháng 5 năm 2010, Terry đã được huấn luyện viên Capello chọn vào danh sách 23 cầu thủ Anh tham dự Giải vô địch bóng đá thế giới 2010 tại Nam Phi.[151] Sau hai trận hòa đầu tiên tại giải với Mỹ và Algérie, Terry trong khi phát biểu với báo giới đã chỉ trích về chiến thuật và nhân sự của Capello.[152] Ngày hôm sau, Capello đã phản ứng lại việc làm này của Terry và gọi đó là "một sai lầm lớn" khi anh đã không trao đổi các thông tin này với ông mà lại tự ý phát biểu với giới truyền thông.[153] Tại giải đấu này, anh đã góp mặt trong đội hình chính thức của đội tuyển Anh ở cả bốn trận đấu và đội tuyển Anh bị loại sau thất bại 1-4 trước đội tuyển Đức tại vòng hai.[154]

Tháng 5 năm 2012, John Terry tiếp tục có tên trong danh sách 23 cầu thủ Anh tham dự Euro 2012.[155] Trong trận cuối cùng của vòng bảng với Ukraine, Terry đã có pha cứu bóng ngay trên vạch vôi bảo toàn chiến thắng 1-0 cho đội tuyển Anh, đảm bảo tấm vé vào tứ kết, dù sau đó băng hình quay chậm lại cho thấy bóng đã lăn qua vạch vôi trước khi Terry phá bóng.[156]

Vào ngày 23 tháng 9 năm 2012, Terry tuyên bố giã từ sự nghiệp đội tuyển quốc gia sau 78 lần khoác áo đội tuyển.[157]